Phạm Xuân Ẩn sinh năm 1927 tại xã Bình Trước, Biên Hòa, tỉnh Đồng Nai, trong gia đình một viên chức cao cấp của chính quyền thuộc địa. Quê gốc của ông tại Hải Dương. Gia đình ông chuyển đến sống tại Huế khi cụ nội của ông là nghệ nhân kim hoàn được gọi vào Kinh đô để chế tác đồ vàng bạc cho triều đình. Ông nội của Phạm Xuân Ẩn là hiệu trưởng một trường nữ sinh ở Huế, đã được Vua ban Kim khánh. Cha của ông là một kỹ sư công chánh cao cấp tại Sở Công chánh, làm công tác trắc địa trên khắp miền Nam. Ông được sinh tại Nhà thương Biên Hòa, do chính các bác sĩ Pháp đỡ đẻ. Tuy là một viên chức cao cấp, nhưng cha của ông không nhập quốc tịch Pháp.